package action.RDD基本转换操作3

import org.apache.spark.{SparkConf, SparkContext}

/**
  * def glom(): RDD[Array[T]]
  * 该函数是将RDD中每一个分区中类型为T的元素转换成Array[T]，这样每一个分区就只有一个数组元素。
  *
  * @author wdmcode@aliyun.com
  * @version 1.0.0
  * @date 2018/11/8
  */
object SparkGlom {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("SparkParallelize")
    conf.setMaster("local[2]")

    val spark = new SparkContext(conf)

    val rdd = spark.parallelize(1 to 10, 3)

    val rddGolm = rdd.glom()
    //rddGolm: Array[Array[Int]] = Array(Array(1, 2, 3), Array(4, 5, 6), Array(7, 8, 9, 10))
    //glom将每个分区中的元素放到一个数组中，这样，结果就变成了3个数组
  }
}
